DuTri：双分支建模与三阶分解的多模态多场景推荐
🧭 多场景多模态推荐 · 双分支三阶分解 ★ 深度解读
深圳大学 · 深圳技术大学
提出 DuTri 双分支框架，用 CP 分解和残差量化学习三元协同偏好，指导多模态自适应融合，在多场景推荐上取得最优。
📌 工作参考价值（4 点）
- 多场景多模态推荐不要简单把多模态特征拼进现有 MSR 骨干，可尝试双分支：协同分支专注 ID 交互建模，多模态分支处理内容语义，通过偏好表示桥接，避免参数共享架构在多模态下退化。
- 用 CP 分解建模用户-场景-物品三维交互，得到用户、场景、物品因子，作为跨场景共享和场景特异的表示，可替代简单的共享嵌入，迁移到多场景 CTR 模型。
- 残差量化（RQ）将连续偏好因子离散化，提升表示稳定性和泛化，类似于 Semantic ID 的思路，可用于工业推荐中对用户/场景/物品表示进行量化压缩。
- 对比学习对齐协同物品表示与多模态表示，使协同信号和内容信号互相增强，可借鉴到多模态推荐或图文相关性建模中，提升融合效果。
生成式信息检索语义 ID 空间的系统性研究
🧭 生成式检索 · Semantic ID 设计空间 ★ 深度解读
Artefact Research Center · LERIA, Angers University
统一 PQ 与 RQ 的语义 DocID 设计空间，发现混合 PQ×RQ 最优，Uniqueness Ratio 是训练前关键门槛
📌 工作参考价值（4 点）
- 在生成式推荐/检索中构建 Semantic ID 时，先计算 Uniqueness Ratio U：若 U<0.9，下游 MRR/Recall 会显著崩塌，应作为训练前的硬性门槛，避免浪费训练资源。
- 短 DocID 或强压缩 token 预算下，优先选择端到端训练的 R-VQ，而不是分层 k-means；R-VQ 码本使用更均匀，能保持 U 和检索性能，例如 M=4 时 R-VQ 仍达 44.0 MRR@10，而 PQ×R-VQ 只有 26.2。
- 可尝试混合 PQ×RQ 结构：将 item embedding 先分成 C 个并行子空间，再在每个子空间做 L 层残差量化，同等 token 预算下（如 C=2, L=8）可超过纯 PQ 和纯 RQ，适合电商物品多模态 embedding 的语义 ID 设计。
- 用训练前的结构诊断指标（Uniqueness、Normalized Entropy、Shared Semantic Similarity、Contrastive Alignment Preservation）快速筛选 DocID 空间，尤其要区分 hierarchy 与 parallelism 的结构偏好，选择对应度量，避免只靠端到端训练评估。
SPRIG：语义ID增强路径的知识图谱生成式推荐
🧭 生成式推荐 · Semantic ID + KG path ★ 深度解读
Johannes Kepler University Linz · Albatross AI · Criteo AI Lab · Linz Institute of Technology
首次在KG路径推理生成式推荐中将物品表示为层级语义ID，统一共享词表，以更少参数实现更强推荐
📌 工作参考价值（4 点）
- 商品/广告ID语义化：用内容embedding + residual K-means生成层级Semantic ID（如3层×256码），替代原子item token，词表从|I|降至固定768，大catalog下可省~24x参数，相似商品共享前缀利于长尾与冷启动。
- 两阶段路径语言建模：先在无协同信号的通用KG路径上预训练，再在用户-物品路径上微调；推理用diverse beam search（60 beams/5组/diversity penalty 0.4）生成路径并按路径log-likelihood排序候选商品。
- 量化器选择：residual K-means优于RVQ/RQ-VAE但差距仅~1%，可优先选简单方案；模型对底层item特征质量敏感，需先保证内容表征质量。
- 若业务有商品知识图谱（类目/品牌/属性关系），值得将KG路径生成与SID结合，而非单独用SID或单独用KG；两者互补，在稀疏数据集上提升明显。
残差轨迹蒸馏用于生成式检索
🧭 生成式检索 · Semantic ID · 残差蒸馏 ★ 深度解读
Beihang University · Meituan
把冻结RQ索引器的残差码本偏好蒸馏进SID解码状态，保留检索索引与推理不变
📌 工作参考价值（4 点）
- 如果已经在用 RQ Semantic ID 做生成式召回/推荐，可以把冻结的 RQ indexer 当成现成 teacher：沿存储 SID 重建残差，用残差到码本的距离构造 soft target，KL 对齐 SID 解码状态；训练只加几个投影头，推理时全部移除，beam search 和索引完全不变。
- 多 horizon future 监督值得复用：让早期解码状态同时预测后续几层码本偏好，类似 multi-token prediction，但目标是码本分布而非 hard token；这能提前注入后续结构，缓解 beam search 早期剪掉正确 item 的情况，电商商品检索里尤其适合互补/长尾商品。
- 必须做 collision-aware 修正：线上 SID 通常经过去重/冲突解决，直接拿原始 RQ 残差会与最终索引不一致。实现时沿最终存储 SID 重建残差路径，并对 soft target 做最小 margin 插值，保证存储 code 仍是最高概率；这是工程能否落地的关键细节。
- 控制实验显示 shuffled teacher、非目标对应或全局 codebook-only 都会掉点，说明 teacher 必须保留 item 级对应关系，不能只做通用码本统计蒸馏；在生成式推荐里 TIGER 类骨干同样可接入，B-Shop/Yelp 上提升更明显。
RSLM：面向近似最近邻搜索的训练自由向量量化
🧭 向量检索 · ANN索引量化 ★ 深度解读
Google Zurich · Technical University of Munich · University of Copenhagen · Google San Jose
训练自由的分块旋转量化方案，在1-4bit/维下保持召回，降低ANN索引内存与带宽
📌 工作参考价值（4 点）
- 在 IVF/树型索引的 rescoring 阶段，用训练自由旋转量化（尤其相对残差量化）替代 trained PQ/SQ，可省去离线 k-means 训练，快速接入新 embedding 版本或新业务数据集；4-bit RelApproxGlobal 在多个数据集达到 100% recall@20@30，2-bit 达 99%+ recall@20@40，适合 RAG/推荐候选召回的大候选池。
- 采用 block-wise FWHT（块大小 128）实现 O(D) 旋转复杂度，避免 dense rotation O(D^2) 和全局 FWHT 的维度 pad 问题；在非标准维度如 2049 时，编码吞吐比 TurboQuant 快约 36 倍（128k vs 3.5k items/s），适合线上实时 query 预计算。
- 显式校正最终重建向量的 L2 norm（而非只校正残差）对 MIPS 排名很重要，能替代 ScaNN anisotropic loss 的调参；实现时用 2 字节自定义浮点 UE7M9 存 scale，Rslm4Lite 把 scale 隐写到前 16 维的最高 bit，实现零额外元数据，内存对齐更优，吞吐显著提升。
- 在低 bit 场景（1-2 bit）Rslm_Global 超过 Faiss PQ 和 ScaNN AVQ，说明固定 codebook + 旋转 + 全局 norm 校正是一个可复用的低带宽候选评分方案；但注意低维数据增加 scale 存储占比（如 glove 100d 1-bit 增加 15%），更适合高维 embedding。
双角色标识符的生成式通用多模态检索
🧭 生成式多模态检索 · 双角色 Semantic ID ★ 深度解读
Independent Researcher, Japan · Institute of Library, Information and Media Science, University of Tsukuba, Japan · College of Knowledge and Library Sciences, University of Tsukuba, Japan
DrIG 将同一残差量化 ID 同时作为顺序解码序列和无序集合先验，缓解前缀剪枝错误，并以 dense 重排补偿量化损失
📌 工作参考价值（4 点）
- 双角色 Semantic ID 可直接用于生成式召回：将商品 ID 设计为分层量化 token，第一层编码类目/模态，其余层编码语义；推理时 beam search 不仅用 decoder 序列分数，还加入由 ID 无序集合计算的全局相关性分数，缓解 beam search 前缀剪枝误杀。
- 生成召回 + dense 精排是现实的混合架构：先用轻量生成式模型通过 Trie 约束 beam search 召回 top-k，再用 query/item embedding 余弦相似度重排，避免全库 ANN 打分，额外成本仅为 O(kd)，适合大规模电商商品库。
- Query augmentation 与判别排序目标可迁移：用 query-target embedding 的 Beta 插值生成增强 query 稳定生成器训练；用 teacher 相似度计算 adaptive margin 的 pairwise ranking loss，使 decoder 序列分数更贴近排序目标，适合用于生成式商品召回的训练。
- LMM 作为多模态 item embedding 编码器：用 “summarize in one word” 提示提取 <emb> 前 hidden state 作为通用多模态表示，再做多任务对比微调，可复用到图文商品/内容理解与跨模态召回。
未配对模态无关的生成式推荐
🧭 生成式推荐 · 未配对多模态语义ID学习 ★ 深度解读
Beihang University · Meituan
让生成式推荐从配对、纯图、纯文混合数据中学习统一的语义ID空间，消除多模态配对瓶颈
📌 工作参考价值（4 点）
- 利用未配对商品数据直接优化语义ID：电商商品图、文经常独立维护，配对覆盖率不足。可借鉴 UnpairGR 的共享 Transformer 主干和残差码本设计，让只有图片或只有标题的商品也能参与训练相同的离散 tokenizer，不依赖特征补全或独立码本。
- 轻量输入端投影 + 共享编码器：将模态特定处理限制在浅层投影层，后续深层网络和码本完全共享。这样即使模态缺失，表征依然落在统一的量化空间，工程实现简单，避免多套 tokenizer 和 fallback 逻辑。
- 基于熵的可靠性加权共识：对于配对商品，通过码本赋值的熵动态评估各模态置信度再做加权融合，优于简单平均。在商品描述质量参差不齐的场景（如标题噪音大、主图不清晰）可直接复用。
- 分层码本 + 交叉观测一致性正则：利用粗粒度语义对齐（早期码本）和细粒度差异容忍（后期码本）的特性，配合 JS 散度约束，能在未配对训练下保持同一商品不同模态输入生成相似前缀语义 ID，这对后续的生成式检索或 Agent 工具调用中的 item 表示一致性很有用。
面向LLM推荐的层次化潜在推理框架HiLaR
🧭 生成式推荐 · 层次化隐式推理 ★ 深度解读
Xi'an Jiaotong-Liverpool University · Xiaohongshu · Peking University · Beijing Jiaotong University
HiLaR 用残差量化和时间窗口监督构建粗到细用户偏好，对齐LLM潜在状态并以过程奖励优化层级贡献，在Amazon数据集上超越SOTA。
📌 工作参考价值（4 点）
- 用户序列建模：借鉴时间窗口监督的残差量化，将用户历史按时间从远到近分层，构建从长期兴趣到短期意图的多粒度表示，可直接作为召回或排序阶段的特征。
- LLM推理结构化：在推荐Agent中，可让LLM的中间隐藏状态对齐预训练的层次化偏好向量，使推理轨迹具有粗到细的结构，便于诊断与解释。
- 过程奖励设计：利用下一物品预测的条件似然增益作为每步推理的奖励分量，结合GRPO优化多步潜在推理，为Agent的多步决策提供细粒度反馈，降低稀疏奖励问题。
- 协同信号融入：在生成式推荐中引入冻结协同模型（如SASRec）的偏好分数作为RL奖励，弥补纯语义匹配的不足，可直接用于电商搜索召回的生成式模型。
HoloRec：整体编码与交错推理的生成式推荐
🧭 生成式推荐 · 层级语义编码与内生推理 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Artificial Intelligence, Beijing Normal University · JD.com
提出多粒度嵌套残差量化构建层级语义编码，通过门控交错推理实现内生链式思维，统一表示、推理与生成
📌 工作参考价值（4 点）
- 多粒度语义ID构建：对item embedding按维度切片进行嵌套残差量化，生成粗到细的离散编码矩阵，可用于电商召回-粗排-精排的级联体系，在不同阶段使用不同粒度，减少计算开销同时保持语义对齐。
- 免费午餐的多粒度辅助训练：训练时添加粗粒度预测头（共享backbone），用粗粒度语义ID作为辅助标签，推理时去掉该头不增开销，可直接提升召回多样性（粗粒度标签帮助模型覆盖更多候选），适合电商长尾商品推荐。
- 内生交错推理机制：在自回归生成过程中，每一步先预测粗粒度语义分布，经门控注入到细粒度解码，隐式实现Chain-of-Thought而无需外部推理数据。可迁移到对话式推荐Agent中，在生成推荐列表时逐步细化用户意图，提升Top-1准确率。
- 稀疏场景增益显著：整体编码和交错推理对稀疏数据（如Beauty数据集相对TIGER Hit@5提升14.2%）效果突出，可用于解决电商中冷启动用户或新商品推荐问题。
通过前缀保留优化弥合多模态生成检索的索引-解码鸿沟
🧭 多模态生成式检索 · 前缀保留优化 ★ 深度解读
Shandong University · CISPA Helmholtz Center for Information Security · University of Amsterdam · Leiden University
提出前缀保留优化框架，从排序蒸馏、词汇调度和几何融合三方面提升残差码本在束搜索中的前缀存活率
📌 工作参考价值（4 点）
- 前缀排序蒸馏：在RQ标识符学习时，引入listwise蒸馏损失，使量化后前缀概率分布与冻结编码器的原始分布对齐，减少索引-解码排名分歧。该方法可直接用于生成式推荐中的Semantic ID训练，提升束搜索解码时的目标保留。
- 词汇表调度：将残差量化各级codebook大小设计为递增（浅层小、深层大），降低束搜索早期大量非目标前缀的竞争，增大教师边际，提高目标前缀浅层存活率。在电商推荐粗粒度类目上可借鉴，减少不必要的早期剪枝。
- 几何分数融合：解码时，用查询与候选codeword的几何相似性（残差距离减少量）增强解码得分，无需重新训练即可改善解码器与量化分布的对齐。适用于线上实时推理，可直接集成到现有生成式检索/推荐系统中。
- 理论生存界限：将前缀存活分解为排名散度、教师边际和解码器不匹配三个可控量，提供了一种诊断工具，可迁移到其他RQ-based生成式系统，识别并优化瓶颈。
解耦残差量化：诊断与构建鲁棒推荐语义ID
🧭 生成式推荐 · Semantic ID 鲁棒性诊断与解耦量化 ★ 深度解读
Shopee
提出期望重叠率与有效码本容量框架诊断语义ID退化，并展示解耦残差量化（DRQ）分离连续表示学习与离散分配
📌 工作参考价值（4 点）
- 解耦设计可分别优化连续表示和离散分配：在电商物品语义ID构建中，先训练一个良好对齐与均匀分布的连续VAE隐空间（融合多模态内容+行为对比学习），再冻结后进行层次K-Means聚类，能避免STE梯度带来的几何坍缩与码本欠训练。
- 诊断框架直接用于评估现有tokenizer：利用期望重叠率Oπ与有效码本大小Keff，可以量化分布惩罚（码使用Gini/熵）与几何惩罚（码向量间距）。若Keff远小于名义K，说明码本大量浪费，应及时调整码本大小或增加EMA等分布平滑策略。
- RQP-VAE的EMA+死码复活是解决索引坍塌的廉价工程trick：当遇到热门物品挤占码本时，可借鉴RQP-VAE，用指数移动平均更新码心并定期重置低利用码，使码使用接近均匀，无需改动整体架构。
- 多指标选型避免单一维度陷阱：实验中重构保真（DRQ-VAE最强）、符号鲁棒性（RQP-VAE最强）、软语义匹配（DRQ-VAE+CL最强）存在互斥，做tokenizer选型时需根据下游任务（精确检索vs.语义召回）权衡，不能只看重建误差或碰撞率。
量化意图：基于有机活动的跨域语义ID用于工业广告排序
🧭 跨域语义ID · 行为活动丰富度 ★ 深度解读
LinkedIn
提出跨域用户语义ID和行为活动丰富度原则，利用有机Feed信号提升广告冷启动CTR达+1.522%，同时RQ-FSQ匹配密集AUC且存储缩小30～280倍
📌 工作参考价值（4 点）
- 行为活动丰富度选源原则：跨域特征优先选择编码近期行为信号（如浏览、互动序列）的源，而非静态画像文本。实验显示 Feed Activity 直接聚合行为比纯文本嵌入多 +0.177% AUC，可作为电商/广告系统选择外部特征源的直接指导。
- RQ-FSQ 离散化通用方案：将预训练用户/商品嵌入离散化时，可结合残差 VQ 保留全局结构与单维标量量化保留细节，匹配甚至超过原始密集嵌入 AUC。这一方法适用于压缩 LLM 编码器输出，在存储受限的推荐服务中能直接复用，实现 30～280 倍压缩而不掉点。
- HDE 模块即插即用：使用前缀 n-gram 哈希表对任意 K 级离散 ID 序列编码，支持多源独立查表与求和，插入现有 CTR 特征层无需修改骨干网络。该设计可直接迁移到电商排序模型的特征工程环节，降低多源离散特征集成成本。
- 冷启动行为桥接：将非广告域（如内容浏览、社交互动）的丰富行为量化为语义 ID，作为排序模型的用户侧特征，可有效缓解新用户/稀疏用户信号不足，冷启动段 CTR 提升达 +1.522%，对电商 Push、新客推荐场景有直接借鉴意义。